深度学习与计算机视觉系列(8)_神经网络训练与注意点

作者：寒小阳
时间：2016年1月。
出处：http://blog.csdn.net/han_xiaoyang/article/details/50521064
声明：版权所有，转载请联系作者并注明出处

1.训练

在前一节当中我们讨论了神经网络静态的部分：包括神经网络结构、神经元类型、数据部分、损失函数部分等。这个部分我们集中讲讲动态的部分，主要是训练的事情，集中在实际工程实践训练过程中要注意的一些点，如何找到最合适的参数。

1.1 关于梯度检验

之前的博文我们提到过，我们需要比对数值梯度和解析法求得的梯度，实际工程中这个过程非常容易出错，下面提一些小技巧和注意点：

使用中心化公式，这一点我们之前也说过，使用如下的数值梯度计算公式：
$$\frac{df(x)}{dx}=\frac{f(x+h)-f(x-h)}{2h}\text{(好的形式)}$$
而不是
$$\frac{df(x)}{dx}=\frac{f(x+h)-f(x)}{h}\text{(非中心化形式，不要用)}$$
即使看似上面的形式有着2倍的计算量，但是如果你有兴趣用把公式中的$f(x+h)$和$f(x-h)$做泰勒展开的话，你会发现上面公式出错率大概是$O(h^2)$级别的，而下面公式则是$O(h)$，注意到h是很小的数，因此显然上面的公式要精准得多。

使用相对误差做比较，这是实际工程中需要提到的另外一点，在我们得到数值梯度 f